CoRT: Counterfactual Replay for Token-Level Rubric-Guided Policy Optimization
CoRT：基于反事实回放的令牌级评分标准引导策略优化
🧭 令牌级信用分配 · 反事实回放
Nanjing University · ByteDance · University of Chinese Academy of Sciences
提出反事实回放计算令牌级信用权重，在不引入辅助模型的情况下改进 GRPO 的令牌级优势分配
📌 工作参考价值（3 点）
- 令牌级信用分配可直接用于对话/推荐理由生成训练：在电商客服或推荐文案生成中，常根据语义、格式等多条标准打分，将优势信号均匀广播到所有 token 会导致噪声。CoRT 的令牌级加权方法可复制到类似场景，提升训练效率和生成质量，无需额外评分模型。
- 反事实回放思路可迁移到评估对齐任务：在搜索推荐系统的 LLM 评估（如 RAG 生成质量评价）时，可通过构造“有评分标准 vs. 无评分标准”的提示对比，自动获取每个 token 对评分标准的依赖程度，作为细粒度奖励信号。
- 纯推理侧实现，工程成本低：CoRT 仅用两次前向传播（带与不带评分标准提示）计算 log-likelihood 差异，无需训练单独的 token 评分器，可直接插入现有 GRPO 训练流程，适合资源受限的团队快速实验。